معرفی تخصیص الگو و حافظه انجمنی تفاوت تخصیص الگو و دستهبندی الگو انواع شبکههای تخصیصدهنده الگو قوانین آموزش مورد استفاده حافظه انجمنی یک الیه حافظه

Transcript

1

2 معرفی تخصیص الگو و حافظه انجمنی تفاوت تخصیص الگو و دستهبندی الگو انواع شبکههای تخصیصدهنده الگو قوانین آموزش مورد استفاده حافظه انجمنی یک الیه حافظه دیگرانجمنی حافظه خودانجمنی حافظه های انجمنی تکراری شبکه هاپفیلد گسسته حافظه انجمنی دوطرفه )بازخوردی(

3

4 یادگیری و به یادسپاری در ذهن انسان نظریه آریستول )Aristotle( ذهن انسان موضوعات و رویدادهایی که شبیه یا متضاد هم هستند یاا باا هم رخ داده اند را به یکادیگر مارتبک کارده و از ایان طریادگ یاادگیری و به یادسپاری حاصل می شود. الگوها یا موضوعاتی که ذهن انسان به یکدیگر مرتبک می کندگ می تواناد از یک جنس یا گوناگون باشد. ارتباط بین دو تصویر. دیدن یک منظرهگ انسان را به یاد منظره دیگر می اندازد. استشمام یک رایحه خوشگ انسان را به یاد منظره خاصی می اندازد. به یادسپاری یک الگو ارتباط یک الگو با خودش! )به حافظه سپردن(

5 ویژگی یادگیری ذهن انسان سوال: بازیابی یک الگوگ احتیاجی به مشاهده دقید همان الگو ندارد. یک الگوی مشابهگ یا همراه با خطا و نویزگ باعث بازیابی الگوی اصلی می شود. مثال: ظاهر یک انسان هر روز در حال تغییر استگ )آرایش موها و صورتگ نحوه لباس پوشیدنگ گذشت زمان و سن( اما ذهن انساان باه راحتای مایتواناد یاک دوست قدیمی را بشناسد! چگونه می توان چنین قابلیتی را از کامپیوتر انتظار داشت حافظه های معمولگ چنین قابلیتی ندارند. تغییر حتی یک بیتگ باعث بازیابی الگویی اشتباه می گردد. شبکه های عصبی انجمنی )تخصیص دهنده الگو(گ راه حلی برای این مساله.

6 شاابکههااای عصاابی ]حافظااه[ انجمناای )تخصاایصدهنااده( )Associative Memory Neural Net.( معموال شبکههای تکالیه هستند. تحفیظ و نگهداری الگوها به کمک تغییر و به روزآوری وزن ها. به همین دلیلگ بر خالف حافظه های معمولگ جای مشخصای را نمای تاوان بارای نگهداری الگو مشخص نمود. اثر حفظ یک الگوگ در تمام شبکه پخش می گردد. الگوهای ورودیگ در قالب زوج بردارهای آموزشی s:t بیان می شوند. اگر s=tگ شابکه را حافظاه خاودانجمنی memory( )Autoassociative و در غیراینصورتگ حافظه دیگرانجمنی memory( )Heteroassociative گوییم.

7 شبکه های حافظه انجمنی از لحاظ نوع ساختار پیشخور :)feedforward( انتقال اطالعات و محاسبات همیشاه از الیاه ورودی به سمت الیه خروجی است. بازگشتی )recurrent( یا تکراری :)iterative( اتصالهایی بین نرونهاا وجاود دارد که باعث ایجاد حلقه بسته )فیدبک( در شبکه میشود. ویژگی مهم شبکههای عصبی حافظه انجمنی بازیابی با ارایه الگویی شبیه الگوی آموزش دادهشده نیز ممکن است. سوال: ظرفیت یک شبکه عصبی حافظهای برای نگهاداری الگوهااگ چاه مقدار است شبکه عصبی حافظه ای هم مانناد هار حافظاه دیگارگ ظرفیات محادودی بارای نگهداری الگو دارد. تعداد ورودیها و میزان شباهت الگوها به یکدیگرگ بر ظرفیت نگهاداری الگوهاا تاثیر مستقیم دارد.

8 قوانین آموزش مورد استفاده در شبکههای حافظه انجمنی قانون هب قانون هب قانون دلتا الگوریتم آموزش یک شبکه یاک الیاه باا کمک قانون آموزش هب n ورودی و m خروجای باه

9 یجراخ برض کمک هب به نوناق هلصافلاب و عیرس لامع ا کامک هاب ناوت یم ار به نوناق دنشاب رفص یگلمج هیلوا یاهنزو هکنیا ضرف اب.درک یزاس هدایپ یجورخ و یدورو رادرب ود یجراخ برض یوگلا مینک ضرف s:t :دوش هداد شزومآ دیاب متیرواگلا کاسوت وگلا نیا شزومآ زا دعب هک تسا ینزو سیرتام نامه اقیقد نیا!دیآ یم تسد هب گبه شزومآ ر وا ط ه ا ب نا وا تی ا م گی ا ج و رخ ر ا د را ب ر د ی د و ر و ر ا د را ب ی ج ر ا خ ب رض ز ا ه د ا ف ت س ا ا ب س پ.دروآ تسد هب ار اهنزو میقتسم m n j n 1 n m i j i 1 i m 1 j m j 1 n i 1 T t s t s t s t s t s t s t s t s t s t t t. s s s.t s ) t,, t,, (t ),s,,s, (s m j 1 n i 1 t s

10 s استفاده از ضرب خارجی برای آموزش بیش از یک الگو اگر P الگو به شکل زیر داشته باشیم: (s1(p),,si(p),,sn(p) ), (t1(p),,t j(p),,t m(p) ) ( p) ( p) t از آنجا که وزنهای حاصل از آموزش هب به شکل زیر خواهند بود: w P ij si(p). t j(p) p1 می توان صورت ماتریسی را به کمک ضرب خاارجی بردارهاای ورودی و خروجی به صورت زیر نوشت: W P p1 T s (p).t (p)

11 بازیابی کامل در مقابل تداخل الگوها مناسب بودن یا نبودن آموزش هب برای یک مسالهگ متکی به وابستگی بین نمونههای آموزشی است. اگر بردارهای ورودی مستقل از یکدیگر باشند )دو به دو بر هام عماود باشاند(گ وزنهای حاصل از الگوریتم آموزش هب بهترین کارایی را دارد. یعنیگ در پاسخ به هر ورودیگ خروجی صحیح تولید میشود. اگر بردارهای ورودی مستقل )عمود( نباشند: پدیده تداخل talk( :)cross در پاسخ به یک بردار ورودیگ باردار خروجای باا باردار خروجی دیگر الگوها مخلوط میشود. یادآوری: )نقطهای( یعنیگ اگر k pگ آنگاه s(k) و s(p) برهم عمودندگ اگر: n si(p).si(k) 0 (k) s. T یا s(p) 0 دو بردار ورودی بر هم عمودندگ هرگاه حاصل ضارب داخلای آنها صفر باشد. i1

12 تداخل چگونه روی می دهد p1 اگار W: مااتریس وزنهاای آماوزشدادهشاده باه روش هاب باشادگ بادون درنظرگرفتن تابع فعالیتگ خروجی y از روی ورودی x چنین محاسبه میشود: حال فرض کنیم ورودی شبکهگ یکی از الگوهای آموزش داده شده باشد: W P y xw x s(k) T s (p).t (p) s(k) W p s(k) s T (p) t(p) s(k) s T (k) t(k) pk s(k) s T (p) t(p) حال اگر s(k) به ازای هر p k بر s(p) عمود باشدگ )یعنای بردارهاای ورودی آماوزش داده شدهگ دوبهدو بر هم عمود باشند( عبارت دوم صفر شده و خروجی شابکهگ خروجای مورد انتظار مربوط به ورودی است که در ن رم ورودی ضرب شده است )اثر اساکیلین بعد از تابع فعالیتگ خنثی میشود(. اگر چنین نباشدگ عبارت دوم صفر نشده و خروجی شبکه ترکیبی از خروجی مورد انتظار و خروجی نمونههای دیگر است. به این پدیده که ترکیب خروجیهای آموزشی در خروجی شبکه مشاهده میشودگ تداخل گوییم.

13 با اعمال تابع فعالیتگ حتی در هنگام بروز تاداخلگ نتاای ممکان است راضی کننده باشد. نرمالکردن وزنها )تقسیم بر تعداد نرونها( میتواند از اثر مستقیم ورودیها بر خروجی بکاهد. سه مسالهای که به طور مستقیم بر اثربخشی و کارایی روش هبگ موثر است: الگوریتم هب قابل اعمال استگ اگر چنین وزنهایی موجاود باشاد یعنای بردار الگوهای ورودیگ مستقل )خطی( از هم باشند. ا ل گ و ر ی ت م ه ب م یت و ا ند ب ا ه ن ت ا ا ی م ن اس ا ب ی م ن ج ا ر ش ا ود گ اگ ا ر ب رد ا ر ه ا ا ی ورودیگ دو بدو ناهمبسته )عمود( باشند. ا ث ر ا ل گ و ر ی ت م ه ب گ م ش ا خ ص ک ا رد ن ر ا ب ط ا ه و ف ع ا ل ی ا ت ی ا ا ع اد م ف ع ا ل ی ا ت همزمان ورودیها و خروجیهاست بنابراین گاهی به این روشگ آموزش یا کدین همبستگی نیز میگویند.

14 مزیت: مناسب برای الگوهایی که مساقل خطای هساتندگ اماا ناهمبسته )عمود( نیستند. قانون دلتا )شکل اولیه(: y j n i1 x i w ij تابع فعالیت خروجی همانی: تغییر وزن قانون دلتا: در این صورتگ مجاذور خطاای ورودی سالول input( )net مطلوبگ کمینه خواهد شد. و خروجای Δw ij α(t j y j)xi

15 y extended or generalized ( in J E m j1 x i (t i 2 j - y j) w ij E w, E w IJ IJ y J w f 2(t قاانون دلتاای گساترش یافتاه )Delta rule تابع فعالیت: تابع پیوسته مشتدپذیر. کاهش خطای خروجی شبکه و خروجی مطلوب. نحوه استخراج قانون دلتای گسترش یافته: IJ (y J w in J m j1 y IJ ) J (t j y ) w - y J IJ (t j ) 2 w IJ (t J y با توجه به روابک روبروگ داریم: 2(t J y J ) x و بنابراینگ تغییر وزنها چنین خواهد بود: J y J ) x I f (y inj ) I J ) 2 f (y in J )

16

17 حافظه دیگر انجمنی Memory( )Heteroassociative بردارهای ورودی و خروجی متفاوتند. ساختار یک شبکه نمونه:

18 الگوریتم استفاده از حافظه دیگرانجمنی تابع فعالیت میتواند با توجه به استفادهگ انواع مختلفی داشته باشد. بایپوالرگ باینریگ هیسترزیسگ هر تابع پیوسته مشتدپذیر )در هنگام استفاده از قانون دلتا(

19 آموزش با الگوریتم هب

20 آموزش با هبگ با روش ضرب خارجی بردار ورودی در ترانهاده باردار خروجای ضارب می شود. بردارهای حاصل با یکدیگر جمع شده و مااتریس وزن نهایی حاصل می شود. روش سریعتری برای محاسبه وزنها.

21 استفاده از حافظه دیگرانجمنی بازیابی الگوهاای آماوزش داده شده به کمک الگوریتم استفاده. استفاده از ضرب ماتریسی برای به دست آوردن خروجی.

22 بازیابی الگویی که مشابه الگوی آموزش داده شده است. با وجود اینکه بردار ورودی جدید استگ چون به یکی از بردارهای ورودی اولیه شبیه استگ خروجی مناسبی تولید میشود. )حافظه خروجی مناسابی را به یاد میآورد.( الگویی که مشابه هیچ الگوی آموزش داده شده ای نیست. چون بردار ورودی شبیه هیچ ورودی نیستگ )فاصله مساوی تا بردارهاای دو دسته( خروجی تولید شدهگ مشابه هایچ کادام از خروجیهاای آماوزش داده شده نیست. )شبکه خروجی مناسبی را بهیاد نمیآورد.(

23 اثر آموزش الگوهای بایپوالر فقک آموزش به صاورت باایپوالر صاورت مای گیارد و بردارهاای ورودی و خروجی در زمان استفاده همچنان باینری هستند. بردارهای ورودیگ خروجی در آموزش و هنگاام اساتفادهگ باایپوالر است.

24 مزیت استفاده از الگوهای بایپوالر تفکیک دو نوع خطا یا نویز که ممکن است در ورودی اتفاق بیافتد. خطای عدم اطمینیان )unsure( یا گم شدگی )missed(»صفر«به جای «کی» یا»منهای یک«در جایی مینشیند که داده اصلی گم شده و مطمئن نیستیم اصل داده چه بوده است. خطای اشتباه شدن» )mistake( در دادههای ورودی اشتباهی رخ داده و «کی بالعکس. به جای»منهای یک«مای نشایند و

25 تشخیص کاراکتر ورودی: 63 مولفه خروجی: بردار 15 تایی. )بایپوالر( بردارهای ورودی و خروجیگ نشاندهنده الگوهاای دوبعادی کاراکترهاا هستند. )خطی سازی( بعد از آموزشگ اثر نویز بر ورودی بررسی میشود. نوع نویز: خطای اشتباه شدگی.

26 اثر نویز محادود بار کااراکتر A و جاواب درست حافظه. اثار ناویز زیااد )33 درصاااد( بااار روی کاراکترها ا و جااواب درست حافظه.

27 حافظه خودانجمنی )Autoassociative Memory( بردارهای ورودی و خروجی شبکه یکسانند. شبکه بردارها را»ذخیره«میکند. قابلیت شبکه: بازیابی الگوی صحیح و کامل باا ورود بخشای از الگاو یاا الگوهای تخریب شده توسک نویز.

28 آموزش شبکه چون وابستگی شدیدی بین مولفههای بردارهای ورودی و خروجای وجود دارد )دقیقا یکسان هستند!( آموزش هب برای شبکه کفایات میکند. راه سریع ترگ استفاده از ضرب خارجی و محاسبه مساتقیم مااتریس وزنهاست:

29 استفاده از شبکه شبکه مشخص می کند که یک بردار را شناخته است یا خیر. یک الگوی شناخته شدهگ الگویی است که شبکه در پاساخ باه آنگ یکای از الگوهای آموزش دیده را در خروجی ظاهر می کند.

30 ذخیره سازی یک الگوی بایپوالر و بازیابی آن بازیابی صحیح الگوی آموزش داده شده خوب استگ اما فایده ایان حافظه در جایی است که بتواند الگوهای تخریب شده را نیز بازیابی کرده و»بهخاطر«آورد.

31 آزمایش شبکه حافظه خودانجمنی وقوع یک خطای»اشتباهشدگی«mistake وقوع دو خطای missed»گم شدگی«

32 معموال در حافظه خودانجمنیگ عناصر روی قطر اصلی ماتریس وزنها را مساوی صفر قرار می دهند. جلوگیری از تقویت ناخواسته وزن بین ورودیها و خروجیهای متناظر. تقویت بیش از اندازه این وزنهاگ باعث می شاود شابکه باه تاداعی کنناده ورودی تبدیل شود! )ماتریس وزنها به سمت ماتریس همانی همگرا شود.( مثال: آزمایش شبکه با ماتریس وزن با قطر اصلی صفر

33 حجم حافظه: کرد. سوال: تعداد الگوهایی که می توان در یک شبکهگ ذخیره اگر بیشتر از حد گنجایشگ الگو به شابکه آماوزش بادهیمگ شابکه چیزی یاد نمی گیرد یا اینکه حتی دانسته هایش را فراموش می کند! چه تعداد الگو در یک شبکه عصبی حافظاه انجمنای قابال ذخیاره سازی است و این الگوها باید چه ویژگی هایی داشته باشند

34 ذخیره سازی دو الگو در شبکه W 2 W 1 :[ ] :[ ] ماتریس وزن برای ذخیره سازی الگوی ماتریس وزن برای ذخیرهسازی الگوی بعدی ماتریس نهاییگ حاصلجمع ماتریس وزنها برای هر الگو. نتیجه: با بررسی معلوم خواهد شد که شبکه هر دو الگو را به درساتیگ باه خاطر سپرده است.

35 ذخیره سازی دو الگوی دیگر در شبکه الگوی اول: 1] -1-1 [1 و الگوی دوم: 1] -1 1 [1 مشاهده میشود که این دو الگو بسیار به هم شبیه هستند )باه جاز مولفه دوم(. آیا حافظه میتواند دو الگوی شبیه به هم را به عناوان دو الگوی متفاوت به خاطر بسپارد تحقید می شود که عمال حافظه این دو الگو را به خاطر نسپرده اسات. )در هنگام ورود هر کدامگ خروجی مناسب مشاهده نمی شود.( تفاوت با مثال قبلگ این است که در آنجا دو الگاو متعاماد بودنادگ ولی این دو الگو چنین نیستند.

36 .[ ] ذخیره سازی سه الگو در شبکه الگوی اول: [ ] )با چهار سلول( و الگوی دوم: -1] [ و الگوی سوم: مشاهده میشود که چون هر سه الگو دو به دو متعامدندگ شبکه توانسته است هماه را به درستی فرابگیرد. تالش برای ذخیره سازی الگوی چهارم الگوی چهارم [1 1] 1 1 است توجه داشته باشید که این چهار الگو همگی بار هام عمودند. شبکه نه تنها الگوی چهارمگ بلکه هیچ چیز یاد نگرفته است! حد نهایی چه مقدار است

37 بردارهای دوبدو بر هم عمودگ باعث پاسخ صحیح شابکه مایشاوند. )در آموزش هب( نکته ویژه: در حقیقتگ آموزش هب باعاث بوجاود آمادن مااتریس ضارایبی میشود که بردارهای آموزشیگ بردارهای ویژه آن باشند! یادآوری مفهوم بردار ویژه ماتریس: برداری که ضرب ماتریس در آنگ جهات باردار را تغییر نمیدهد. قضیه: اگر تعداد الگوهای آموزشی m و تعداد سلولها یا اعضاای بردارهاا n باشدگ و m<nگ آنگاه مااتریس وزنهاای بدسات آماده از روش هابگ نامنفرد است و بردارهای ویژه آنگ بردارهای آموزشای )دوبادو بار هام عمود( است و مقادیر ویژهگ ضرایبی از n-m خواهند بود. اگر m=nگ عدد صفر یکی از مقاادیر ویاژه مااتریس ضارایب خواهاد باود و بنابراین بردار ویژه غیربدیهی برای ماتریس وجود نخواهد داشت. لاذا شابکه یادگیری نخواهد داشت.

38 نکته: هر عدد صاحیح n را مایتاوان باه صاورت 2=n k m. نوشت که در آن m عدد فرد است. قضیه: در هر فضای n -بعدی باا فارض )m 2=n k m. فارد(گ حداکثر میتوان 2 k بردار دوبدو بر هم عمود نوشت. نتیجه: ب ا ک م اک آ م او ز ش ه ا بگ ب ا ا توج ا ه ب ا ه ا ب ع ا ا د ف ض ا ا ی بردارهای آموزشیگ حداکثر گنجاایش حافظاه قابال محاسابه است. نکته: در صورت عمود نبودن بردارهاگ میتوان از آموزش دلتا استفاده کرد.

39

40 مثال: مااتریس وزن بارای ذخیاره ساازی بردار -1( 1 :)1 1 ورود بردار با 3 خطای :missed در تکرار اولگ بردار صحیح برگردانده نمی شود. چه می شود اگر کار را تکرار کنیم در تکرار دومگ بردار ذخیره شدهگ بازیابی می شود!

41 تخصیص دهنده خطی بازخوردی تعداد n سلول کامال به هم متصل. اصطالحا fully interconnected ماتریس وزنها متقارن. w ij = w ji قطر اصلی صفر یا غیرصفر. w ii می تواند باشد یا نباشد. الگوریتم هب برای آموزش.

42 ایدهگ همان امکان تکرار عمال شابکه است. )حافظاه( بار روی الگاو خروجی شبکه دوباره در ورودی قرار می گیردگ به امید اینکه بعد از چند مرحله تکرارگ الگوی ذخیره شده اصلی بازیابی شود. یادآوری: بردارهای ویژه ماتریس وزنهای تشکیل شده توساک الگوریتم آموزش هبگ همان بردارهای آموزشی هستند! بردارهای ویژه ماتریس غیرمنفرد میآورند. n*nگ فضاای nبعادی را پدیاد

43 اگر ورودی شبکهگ دقیقا یکی از بردارهای آموزشی باشد: اگر با توجه به اینکه بردارهای آموزشیگ بردارهای ویژه ماتریس وزنهاا هساتندگ پاساخ شبکه حاصلضرب مقدار ویژه متناظر در آن بردار خواهد بود. ورودی شبکه مشابه یکی از بردارهار آموزشی باشد: بردار ورودی را میتوان به صورت ترکیب خطی از بردارهای آموزشی نوشت. پاسخ شبکهگ ترکیب خطی مشابه )با ضرایب مشابه( از مقادیر ویژه متنااظر خواهاد بود. هر چه بردار ورودی بیشتر شبیه یک بردار ویژه )آموزشای( باشادگ ضاریب باردار ویژه مشابه در تکرارهای متوالی بیشتر شده و ضریب بقیه کمتر خواهد شاد تاا در نهایت شبکه به همگرایی برسد. مشکل جدی: ندارد. اندازه پاسخ شبکه قابل کنترل نیسات و حادی بارای افازایش

44 ایااده شاابکه BSBگ حاال مشکل شبکه قبلی. توپولاو یگ مشاابه شابکه قبلی. وزنهااای بااین ساالول و خودشگ وجود دارد و صفر نیست. عالوه بر آنگ بایاس داریم اتصال سلول به خودش باا وزن اضافی 1.

45 الگوریتم آماوزشگ عاالوه بار تغییا ر فعالیت هر سالولگ وزنها را نیز تغییار داده و آمااااوزش میدهد. نکتااه: الگااوریتم اسااتفاده مشااابه همااین الگااوریتمگ ولاای باادون گااام ششم است.

46 ایده ایان شابکه دقیقاا مانناد شابکه Recurrent Linear Autoassociator است. تنها تفاوت این است که نمیگذارد فعالیت سلولها از باازه ]1+ 1-[ فراتر رود. مقادیر داخل بازه نیز مجاز نیستند و شبکه تا جایی فعالیت میکناد که به مقدارهای گسسته 1+ یا 1- همگرا شوند. نقاط همگرایی شبکهگ راسهای یک hypercube در فضای nبعدی است. )دلیل نام گذاری(

47 تخصا یص دهنا ده با ا تا ابع آستانه: ایااده و توپولااو ی مشااابه شبکه های قبل. ماتریس وزنها متقارن اتصال بین سلول و خاودش برقارار نیست. w ii = 0 تنهاا تفااوت جادیگ افازوده شدن یک تابع آستانه است.

48 الگوریتم آموزش تنها تفاوتگ وجود تابع آستانه است. شااارط توقااا گ مشااااهده یاااک بردار تکراری در حین آماوزش یاا رساااایدن بااااه محدودیت تکارار است. اگر بردار ورودی عماااا ود باااا ر بردارهااااااااای آموزشاای باشاادگ در حلقه میافتد.

49 انواع شبکه هاپفیلد گسسته معموال باینری کاربرد: حافظه با دسترسی محتوایی Memory( )Content Addressable پیوسته کاربرد در اختصاص الگوگ بهینه سازی. گسسته هاپفیلد )Discrete Hopfield Net( توپولو ی مشابه شبکه های قبل. ماتریس وزنها متقارنگ قطر اصلی صفر. دو تفاوت عمده با شبکه های قبلی: در هر لحظاهگ تنهاا یاک سالول فعاالیتش را تغییار میدهد )به روز میکند(. هر سلولگ عالوه بر فعالیات سالولهاای دیگارگ یاک ورودی مستقل دارد. یعنی باردار ورودی همیشاه در شبکه تاثیر دارد.

50 بر خالف شبکههای قبلگ اثباات ماوثر ریاضایاتی وجاود دارد کاه شبکه هاپفیلد الزاما همگرا میشود. این تفاوت عمده با شبکههای قبلی کاه در هار لحظاهگ تنهاا یاک سالول فعالیتش را تغییر میدهد )به روز میکند(گ باعث میشود بتوان تابع انر ی یا لیاپان )Lyapunov( برای شبکه نوشت. بنابراین شبکه نوسان نخواهد داشت و همگرا خواهد شد. تابع لیاپان : تابعی نزولی که حد پایین آنگ ثابت و مشخص است. نکته: برای ارضای شرط همگراییگ الزاما باید سلولی کاه فعاالیتش تغییر میکند به صورت تصادفی انتخاب شود. اما متوسک انتخااب سلولها برای بهروز شدنگ در تکرارهای متوالیگ ثابت است. همچنین وزنهای قطری باید صفر باشند.

51 آموزش الگوها الگوهااااای ورودی در اولین نساخه: بااینری بااایپوالر هاام ممکاان است. آمااوزش هاابگ بااه صورت بایپوالر )حتای برای دادههای باینری(. وزنهای قطار اصالیگ صفر. الگوریتم استفاده

52 ذخیره سازی یک الگاو بازیاابی الگوی تخریب شده الگاوی بااینری: 0[ ]1 1 1 یاا معادل بایپوالر آن: -1[ 1 ]1 1 ماتریس وزنها باا قطار اصالی صفر: انتخاب ترتیب تصاادفی بارای به روز رسانی فعالیت سلولها: یاک دوره از الگاوریتم اساتفاده هاپفیلد توجه باه شایوه تغییار فعالیات سلولها. چااون فعالیتهااا تغییاار کااردهگ حداقل یاک دوره دیگار اداماه دارد.

53 تابع انر ی یا لیاپان تابعی از حالت سیستمگ با دو شرط: دارای حد پایین ثابت. تابع غیر صعودی )نزولی( اگر برای سیستمی تابع لیاپان پیدا شودگ اثبات میشود که باالخره حالت سیستم در نقطهای حد یگ پایدار میشود. تابع انر ی برای شبکه عصبی )هاپفیلد( حالت سیستم در شبکه عصبیگ فعالیت نرونهای عصبی است. اگر تابع انر ی پیدا شودگ ثابت میشود هاپفیلد به الگوی مشخصای همگرا است.

54 تابع انر ی پیشنهادی: برای الگوهای باینری یا بایپوالر دارای حد پایین است با توجه به تغییر فعالیت )مینیمم تابع در ازای فعالیت سلولها قابل محاسبه است(. فقک اگر سلول y i فعالیتش به اندازه برابر است با: یک سلول در هر لحظه Δy i تغییر کنادگ تغییارات تاابع انار ی اگر Δy i منفی )تغییر y i از یک به صفر(گ الزاما باید: اگر Δy i مثبت )تغییر y i از صفر به یک(گ الزاما باید: در هر صورتگ عالمت Δy i با عالمت عبارت داخل کروشه یکسان است. بنابراینگ همیشه ΔE مقداری منفی است. تابع انر ی همیشه در حال کاهش استگ حد پایین هم داردگ پاس الزاما نقطه ای وجود دارد که در آن شبکه همگرا می شود.

55 حافظه انجمنی دوطرفه )BAM( دیگرانجمنی بازگشتی معماری شبکه دو الیه )heteroassociative recurrent( X Y و هر الیه هم ورودی هم خروجی نام گذاری وزنها دو طرفه انواع BAM گسسته پیوسته به جای ورودی-خروجی )باینریگ بایپوالر(

56 ذخیره سازی الگوها )آموزش( به شیوه هب الگوهای باینریگ به صورت بایپوالر ذخیره می شوند. الگوهای بایپوالر هم به صورت بایپوالر ذخیره می شوند.

57 تابع فعالیت: تابع آستانه BAM باینری: تابع فعالیت الیه X و Y: و Y: BAM بایپوالر: تابع فعالیت الیه X BAM پیوسته تنها تفاوتگ پیوسته بودن تابع فعالیت است.

58 فعالیت همه سالولها در ابتدا صفر اسات و اگار ورودی سااالول صااافر باشدگ تغییری نمیکند. الگوی ورودی میتواناد به هر کادام از الیاههاا وارد شود. میتوان به طور همزمان الگوهای ناقص یا نویزی را به هر دو الیه شابکه ارایه کرد.

59 آموزش دو الگو: ماتریس وزنها:

60 آزمایش الگوهای ذخیره شده بازیابی الگوها با دادن الگوها در الیه Y

61 آزمایش با الگوهای نویزی هیچ کدام دقیقا الگوهای شناخته شده نیستند. شروع با الیه Y این الگوی شناخته شده ای نیست هنوز! ادامه با الیه X این الگوی حرف A است. همگرایی